ACL 2024 | Parrot（鹦鹉）：增强大语言模型在多轮对话中的指令跟随能力
多轮对话是大语言模型与人类互动的主要方式，广泛应用于消费娱乐、生产力工具和创意生成等场景。然而，构建多轮对话能力所需的训练数据人工标注成本高，且难以控制质量和多样性。因此，如何增强大模型的多轮交互能力，一直是业界一项重大技术挑战，其对于大模型研发和落地应用的重要价值不言而喻。
本文介绍了快手「快意」大模型团队和中国人民大学合作，在多轮指令跟随模型训练、数据合成以及评测上所做的系统工作 Parrot（鹦鹉）。Parrot 提出上下文感知的偏好优化策略，引入提问模型构建高质量的多轮指令跟随数据，从而提升大模型多轮指令跟随能力。
在相同配置下，Parrot 使用了约 40k 的训练数据（约为基线模型 Vicuna v1.5 的 32%），但相较于基线模型实现了约 7% 的绝对性能提升。该工作于近期被自然语言处理顶级会议 ACL 2024 录用为主会论文。
论文作者：
论文链接：
多轮对话是人们与大语言模型（LLM）进行互动的主要方式，LLM 的多轮指令跟随能力是衡量其效果的关键指标。然而，目前业界大部分现有研究对于 LLM 在遵循多轮指令方面的能力——包括训练方法、训练数据集和评估基准都未给予足够的关注，这导致模型在单轮评测上表现良好，但在实际应用中效果不够理想。
这篇论文提出了 Parrot（鹦鹉）模型，一种旨在增强 LLM 在多轮交互中遵循指令能力的系统性方案。Parrot 创新的提出了上下文感知的偏好优化策（CaPO）、并基于训练提问模型来收集多轮指令微调数据，提升了 LLM 处理复杂多轮交互的能力。作者还建立了一个新的多轮基准测试 MT-Bench++，为量化评估 LLM 的多轮指令遵循能力提供了基准。
研究背景
多数开源的大语言模型（LLM）在单轮交互中表现出色，在一些评测基准上已经接近或超过了 ChatGPT、GPT-4。然而，在现实世界的应用场景中，用户与 LLM 通常需要进行多轮次对话来交换信息，模型不仅需要理解单一指令，还要在此基础上理解和遵循连续的指令。但是很多现有研究和评测基准都忽略了 LLM 在多轮指令跟随方面的表现，从而导致在实际应用中的模型效果不够理想。[5] 现有工作的不足主要表现在以下三个方面：
训练方法方面，大部分现有工作直接使用 SFT 对模型进行指令微调，这种方式没有针对性地对多轮指令上下文的复杂关系进行优化。尤其是模型在应对包含指代、省略等的复杂指令时，可能导致模型上下文理解能力不足或者产生上下文幻觉。
▲ 图1: Parrot-Ask 合成多轮数据
训练数据方面，现有的多轮数据集通常轮次很短，比如常用的 ShareGPT 约 60% 的数据都在三轮以内。一些合成的多轮数据集使用 ChatGPT 或 GPT-4 来模拟用户，并通过迭代式对话来收集多轮数据，但是这些合成的指令和真实用户指令的分布差异很大，特别是缺少如图 1 所示的真实用户对话中的复杂特征，如指代、省略、口语化等等。
评测基准方面，常用的 MT-Bench 基准虽然包含了八种类别的指令，但只能评测两轮的指令遵循能力。而实际应用中用户与 LLM 的交互可能会远远超过 2 轮，这导致 MT-Bench 不足以评测 LLMs 的多轮指令跟随表现。
针对上述问题，作者设计了上下文感知的强化训练策略，提出了一套高效的多轮数据收集方法，最后通过所构建的包含 8 轮次的多轮指令跟随评测集 MT-Bench++，系统地研究了如何增强和评估大语言模型（LLM）的多轮指令遵循能力。
方法
▲ 图2：Parrot 框架图
多轮数据收集：
▲ 表1：Parrot 数据集和其他数据集的比较
首先，如图2（a）所示，作者通过训练 Parrot-Ask 模型来自动生成类似于人类的多轮指令序列。作者利用真实用户和 ChatGPT 的对话记录数据（如 ShareGPT）来训练 Parrot-Ask 模型，让其从真实数据中学习真实用户的提问风格，从而更好地模拟人类来提出有上下文针对性的问题。
这一训练过程与传统的指令微调实现相反，Parrot-Ask 基于对话历史来预测用户的下一个问题，即在问题令牌上计算损失。在完成 Parrot-Ask 的训练后，作者让它与 ChatGPT 持续交互，并限定最大交互轮次为 10，从而收集了 Parrot-40K 数据集。经过后处理过滤等策略，该数据集的平均对话轮次为 8.7 轮。
上下文感知偏好优化：
其次，作者提出了上下文感知偏好优化策略（CaPO）来增强模型利用对话上下文信息的能力。如图 1（b）所示，通过选择对上文具有强依赖的指令（如省略、指代等），构建相应负样本来模拟 LLM 常见的上下文感知退化现象：
忽略上下文：通过让 ChatGPT 生成回复时不考虑对话历史，模拟当语言模型没有参考对话历史时可能产生的错误回复。 上下文幻觉：首先提示 ChatGPT 猜测指代词或省略所指的是什么，然后基于它的猜测生成回应。这种策略模拟了语言模型在缺乏足够的指代省略推理能力，因此产生幻觉的错误情况。 上下文误解：指示 ChatGPT 从对话历史中选择不相关的信息，并强制模型误解它，来为当前查询中的省略或指代信息生成回应。这种方法模拟了语言模型错误推理指代省略等信息导致的错误。
基于上述三种策略，作者构建了 30K 正-负例 CaPO 训练样本对。接下来，这些数据用于通过直接偏好优化（DPO）算法，来在 SFT 后的 LLM 基础上进一步强化模型在多轮交互中的上文感知和利用能力。通过以上优化，最终得到了增强多轮交互能力的 Parrot-Chat 模型。
实验
▲ 表2：MT-Bench++ 中关于经济主题的八个问题
为了评估 Parrot 方法在多轮交互中的有效性，作者扩展 MT-Bench 形成了包含八个问题的评测集 MT-Bench++。作者要求 MT-Bench++的标注员构建具有挑战性、上文相关性和多样性的问题，来更好地评价 LLM 的多轮交互能力。与 MT-Bench 一样，作者使用 GPT-4 按照【1-10】打分的方式进行评测。
▲ 表3：Parrot-Chat 和基线模型的性能比较
Parrot-Ask 和 Parrot-Chat 采用了 LLaMA-2-13B 验证方案的有效性，与现有的基于 LLaMA-2-13B 基座微调的开源对话模型，包括 Baize、UltraLM、Vicuna 以及 LLaMA-2-13B-Chat 相比，Parrot-Chat 即使在没有应用 CaPO 策略的情况下，已经在 MT-Bench 基准的所有评估指标上超越了其他模型。
引入 CaPO 策略后，Parrot-Chat 在 MT-Bench 以及 MT-Bench++ 的整体表现上进一步显著提高，特别是在 MT-Bench 的第二轮，以及 MT-Bench++ 的第三到第五轮中，显示出 CaPO 策略在提升模型处理复杂上下文信息方面的效果。尽管 OpenAI 的 ChatGPT 和 GPT-4 在性能上领先，但 Parrot-Chat 作为一个开源模型，仅使用 40K 样本的 Parrot-40K 数据集，便展现出相较于开源模型的卓越性能，进一步证明了 Parrot 方法的有效性。
▲ 表4：消融实验
作者进一步进行了消融实验，在使用同样 20K 数据的情况下，用 Parrot-Ask 收集的数据训练得到的模型超过了 UltraChat 和 ShareGPT。表明相比于用 ChatGPT 模拟用户，利用 Parrot-Ask 可以收集到更高质量的多轮指令微调数 [7] 据，带来约 3.5% 的性能提升。同时对比 ShareGPT，更多轮次的交互也带来了约 1.8% 的性能提升。另外，作者提出的三种负面响应的构造策略都是有效的，而组合这三种策略带来了 2.4% 的提升。
总结
Parrot 通过提出 CaPO 训练策略以及新的多轮指令数据合成方法，提升了 LLMs 在多轮交互中的指令遵循能力。尽管存在数据集规模有限和依赖 ChatGPT 进行数据收集与评测的局限性，本文希望能为推动 LLMs 在多轮对话领域的研究和应用带来帮助。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧